spark 성능 최적화 - 데이터 경사

기 존의 데이터 구 조 는 [(cid, int), (pid, int), (features, vector)], 상품 수 4W, 상품 대 8W, 사용 시간 8h 입 니 다.분석 은 데이터 경사 로 인 한 것 입 니 다. 분류 id 에 따라 상품 의 싱크로 율 을 계산 하기 때문에 cid 3 의 상품 은 하나의 task 에서 모든 작업 이 이 task 운행 이 끝 날 때 까지 기 다 립 니 다. ...

spark성능 최적화데이터 경사